Do All Visual Tokens Matter Equally? Object-Evidence Preserving Token Merging for Vision-Language Retrieval
对象感知的视觉token合并：多向量VL检索的高效压缩
🧭 多向量视觉-语言检索中的对象感知token压缩
The Catholic University of Korea · Korea University · AIGEN Sciences Inc.
提出对象感知token合并框架SaMer，在MaxSim下将视觉token压缩至K个质心，减少16.09×存储并提升R@1
📌 工作参考价值（4 点）
- 可迁移到电商多模态搜索索引压缩：商品图片的 ColPali 表示通常 token 量极大，SaMer 的对象感知合并能保留关键物体证据，缩减索引存储 16 倍, 适合大规模商品库的轻量化多向量检索。
- 训练时仅需对象标注，推理时零开销：借鉴其合并先验设计，可在商品多模态模型训练阶段利用目标检测或分割标注指导 token 合并，推理阶段无需检测器，直接端到端压缩，实现低成本部署。
- MaxSim 友好压缩策略：SaMer 通过聚类形成语义质心而非直接丢弃 token，确保每个质心覆盖不同对象区域，使查询仍能匹配到细粒度证据，这比传统剪枝/池化更适合电商搜索中属性或区域敏感的匹配（如 logo、文本区域）。
- 可与现有双塔架构兼容：只需微调共享投影层，冻结视觉与文本主干，改动量极小，适合在已有的 ColPali/ColQwen 商品检索服务中插入，快速获得压缩与精度收益。